Trong một cuộc phỏng vấn với SiriusXM, Adele nói rằng bài hát "dựa trên việc chúng ta trở nên già đi, và tiệc tùng trong ngôi nhà này, và nhìn thấy những người từng có mối bất hòa với bạn, những người mà bạn đã yêu thương, những người bạn chưa từng yêu. Đại khái là vậy, là những lúc bạn không có thời gian để xuất hiện trong cuộc sống của những người khác. Và bạn hoàn toàn bị cuốn đi cùng bữa tiệc này khi bạn 50 tuổi, và việc này chẳng hề hấn gì, và bạn rất vui và bạn cảm thấy mình trở lại năm 15 tuổi. Nên đó thật sự chính là sự rung động của chúng."[4] Khi được Nick Grimshaw phỏng vấn trên kênh BBC Radio 1, về việc phát hành đĩa đơn trước đó của cô "Hello", Adele cho biết "When We Were Young" là bài hát mà cô yêu thích trong album 25.[5]

"When We Were Young" là một bản nhạc soul có nhịp trong khóa Mi giáng trưởng với nhịp độ khá chậm, 72 nhịp trên phút. Trình tự hợp âm trong ca khúc là Cm–E♭/G–A♭–E♭/G–Fm7–E♭, và quãng giọng của Adele trải dài 2 quãng tám, từ nốt E♭3 đến nốt E♭5.[6]